Zawisza sinh ra tại Stary Garbów, Vương quốc Ba Lan (phía đông nam Ba Lan ngày nay), trong một gia đình quý tộc địa phương (của Sulima), cha của ông là Mikołaj - người cai quản lâu đài của Konary-Sieradz (konarsko-sieradzki), còn mẹ có tên là Dorota. Ông có hai người em trai: Jan được gọi tên "Farurej", là starost (tạm dịch: quản gia) của Spiš; và Piotr có tên gọi "Kruczek". Năm 1397, Zawisza kết hôn với Barbara của gia tộc Piława, cháu gái của Giám mục Kraków Piotr Wysz Radoliński, và họ có với nhau bốn người con trai.